<html>
<head>
  <title>强化学习系列</title>
  <basefont face="微软雅黑" size="2" />
  <meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
  <meta name="exporter-version" content="Evernote Windows/307027 (zh-CN, DDL); Windows/6.1.0 (Win32);"/>
  <style>
    body, td {
      font-family: 微软雅黑;
      font-size: 10pt;
    }
  </style>
</head>
<body>
<a name="772"/>
<h1>强化学习系列</h1>

<div>
<span><div><div><div>        <font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">强化学习是系统从环境学习以使得奖励最大的机器学习。强化学习和有监督学习的不同在于教师信号。强化学习的教师信号是动作的奖励，有监督学习的教师信号是正确的动作。</span></font></div><div><br/></div><div><br/></div><h3 style="text-align: center;"><span style="font-size: 24pt; color: rgb(28, 51, 135);">马尔科夫决策过程</span></h3><h3><span style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal;">马尔科夫决策过程</span><span style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal; line-height: 1.45;">    </span><span style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal; line-height: 1.45;">   </span></h3><div>         要说强化学习，就必须说说马尔科夫决策过程 (Markov Decision Processes, MDP)。马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的决策过程，其分五个部分：</div><div><ul><li><span style="width: 0.664em; position: absolute; height: 0px; font-size: 113%; clip: rect(1.397em 1000.66em 2.456em -1000em); top: -2.268em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">S</span><span style="font-weight: bold;">S 表示状态集 (states)；</span></li><li><span style="width: 0.774em; position: absolute; height: 0px; font-size: 113%; clip: rect(1.386em 1000.75em 2.434em -1000em); top: -2.268em; font-family: MathJax_Math; font-style: italic;">A</span><span style="font-weight: bold;">A 表示动作集 (Action)；</span></li><li><span style="width: 1.619em; position: absolute; height: 0px; font-size: 113%; clip: rect(3.133em 1000.75em 4.148em -1000em); top: -3.982em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">P</span><span style="width: 0.522em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(3.504em 1000.3em 4.155em -1000em); top: -3.982em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">s</span><span style="width: 0.522em; position: absolute; height: 0px; font-size: 50%; clip: rect(3.28em 1000.6em 4.155em -1000em); top: -4.239em; font-family: MathJax_Main; font-weight: bold;">′</span><span style="width: 1.619em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(3.504em 1000.98em 4.285em -1000em); top: -3.834em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">s</span><span style="width: 1.619em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(3.504em 1000.98em 4.285em -1000em); top: -3.834em; font-family: MathJax_Main; font-weight: bold;">,</span><span style="width: 1.619em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(3.504em 1000.98em 4.285em -1000em); top: -3.834em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">a</span> <span style="font-weight: bold;"><img src="强化学习系列_files/Image.png" type="image/png" data-filename="Image.png" style="font-weight: bold;"/> 表示状态 s 下采取动作 a 之后转移到 s' 状态的概率；</span></li><li><span style="width: 1.736em; position: absolute; height: 0px; font-size: 113%; clip: rect(3.133em 1000.76em 4.169em -1000em); top: -3.982em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">R</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.308em 1001.72em 2.61em -1000em); top: -3.832em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">s</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.308em 1001.72em 2.61em -1000em); top: -3.832em; font-family: MathJax_Main; font-weight: bold;">,</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.308em 1001.72em 2.61em -1000em); top: -3.832em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">a</span> <span style="font-weight: bold;"><img src="强化学习系列_files/Image [1].png" type="image/png" data-filename="Image.png" style="font-weight: bold;"/> 表示状态 s 下采取动作 a 获得的奖励；</span></li><li><span style="width: 0.553em; position: absolute; height: 0px; font-size: 113%; clip: rect(1.661em 1000.55em 2.65em -1000em); top: -2.268em; font-family: MathJax_Math; font-style: italic; font-weight: bold;">γ</span> <span style="font-weight: bold;"><img src="强化学习系列_files/Image [2].png" type="image/png" data-filename="Image.png" style="font-weight: bold;"/> 是衰减因子。</span></li></ul></div><div>         和一般的马尔科夫过程不同，马尔科夫决策过程考虑了动作，<font style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">即系统下个状态不仅和当前的状态有关，也和当前采取的动作有关</span></font>。</div><div>        下棋的例子，当我们在某个局面（状态s）走了一步 (动作 a )。这时对手的选择（导致下个状态 s’ ）我们是<font style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">不能确定</span></font>的，<font style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">但是他的选择只和 s 和 a 有关</span></font>，而不用考虑更早之前的状态和动作，即 s’ 是根据 s 和 a 随机生成的。</div><div>        马尔科夫决策过程是强化学习的理论基础。不管我们是将强化学习应用于五子棋游戏、星际争霸还是机器人行走，我们<font style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">都假设背后存在了一个马尔科夫决策过程</span></font>。只不过有的时候我们知道马尔科夫决策过程所有信息(状态集合，动作集合，转移概率和奖励)，有的时候我们只知道部分信息 (状态集合和动作集合)，还有些时候马尔科夫决策过程的信息太大无法全部存储 (比如围棋的状态集合总数为 <span style="width: 2.539em; position: absolute; height: 0px; font-size: 111%; clip: rect(3.164em 1000.46em 4.189em -1000em); top: -3.998em; font-family: MathJax_Main;">3</span><span style="width: 2.539em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.164em 1002.53em 2.387em -1000em); top: -4.39em; font-family: MathJax_Main;">19</span><span style="width: 2.539em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.164em 1002.53em 2.387em -1000em); top: -4.39em; font-family: MathJax_Main;">×</span><span style="width: 2.539em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.164em 1002.53em 2.387em -1000em); top: -4.39em; font-family: MathJax_Main;">19</span> )。强化学习算法按照上述不同情况可以分为两种: </div><div><ul><li><span style="line-height: 1.45;">基于模型 (Model-based) </span></li><li><span style="line-height: 1.45;">非基于模型 (Model-free)</span></li></ul><div><span style="line-height: 1.45;">基于模型的强化学习算法是知道并可以存储所有马尔科夫决策过程信息，非基于模型的强化学习算法则需要自己探索未知的马尔科夫过程。</span></div></div><div><br/></div><div><br/></div><h3><span style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal;">策略和价值</span></h3><div><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">  </span><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">    强化学习技术是要</span><span style="font-size: 16pt; color: rgb(173, 0, 0); font-weight: bold;">学习一个策略 (Policy)</span><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">。这个策略其实是一个函数，输入当前的状态 s，输出采取动作 a 的概率<img src="强化学习系列_files/Image [3].png" type="image/png" data-filename="Image.png" style="font-weight: bold; font-size: 12pt; color: rgb(173, 0, 0);"/></span> <span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Math; font-style: italic; font-weight: bold;">π</span></font></span><span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Main; font-weight: bold;">(</span></font></span><span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Math; font-style: italic; font-weight: bold;">s</span></font></span><span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Main; font-weight: bold;">,</span></font></span><span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Math; font-style: italic; font-weight: bold;">a</span></font></span><span style="width: 2.815em; position: absolute; height: 0px; clip: rect(1.39em 1002.72em 2.727em -1000em); top: -2.309em;"><font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-family: MathJax_Main; font-weight: bold;">)</span></font></span> <font color="#AD0000" style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">。</span></font></div><div><br/></div><div><ul><li><font style="font-size: 16pt;"><span style="font-size: 16pt; color: rgb(50, 135, 18); font-weight: bold; line-height: 1.45;">强化学习的目标是什么呢？</span></font></li></ul><div>            假设我们的系统在一个状态 s 中，我们不会选择当前奖励<img src="强化学习系列_files/Image [4].png" type="image/png" data-filename="Image.png"/> <span style="width: 1.736em; position: absolute; height: 0px; font-size: 111%; clip: rect(3.146em 1000.76em 4.188em -1000em); top: -3.998em; font-family: MathJax_Math; font-style: italic;">R</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.344em 1001.74em 2.652em -1000em); top: -3.848em; font-family: MathJax_Math; font-style: italic;">s</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.344em 1001.74em 2.652em -1000em); top: -3.848em; font-family: MathJax_Main;">,</span><span style="width: 1.736em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.344em 1001.74em 2.652em -1000em); top: -3.848em; font-family: MathJax_Math; font-style: italic;">a</span> 最大的动作 a。因此这个动作可能导致系统进入死胡同，即系统之后会受到很大的处罚。为了避免这种情况，策略要考虑到后续的影响。因此我们最大化递减奖励的期望</div><div><img src="强化学习系列_files/Image [5].png" type="image/png" data-filename="Image.png"/></div><div>        其中 <img src="强化学习系列_files/Image [6].png" type="image/png" data-filename="Image.png"/><span style="width: 0.563em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.699em 1000.56em 2.693em -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">γ</span> 是马尔科夫决策过程的第五个部分：衰减因子。 <span style="width: 0.563em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.699em 1000.56em 2.693em -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">γ</span> 用于平衡当前奖励和远期奖励的重要性，<img src="强化学习系列_files/Image [7].png" type="image/png" data-filename="Image.png"/>也是用来避免计算结果无穷。 <span style="width: 1.202em; position: absolute; height: 0px; font-size: 111%; clip: rect(3.146em 1000.76em 4.188em -1000em); top: -3.998em; font-family: MathJax_Math; font-style: italic;">R</span><span style="width: 1.202em; position: absolute; height: 0px; font-size: 70.7%; clip: rect(1.344em 1001.18em 2.523em -1000em); top: -3.848em; font-family: MathJax_Math; font-style: italic;">k</span> 是系统在当前策略下第 k 步之后获得的奖励。这种目标既考虑了当前奖励又考虑了远期奖励，避免了下一个状态是死胡同的问题。</div><div>        一个策略下的一个状态的价值定义：这个状态下，<font style="font-size: 12pt;"><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">按照这个策略，系统能够获得的递减奖励期望</span></font>。</div><div> <img src="强化学习系列_files/Image [8].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div><br/></div><ul><li><font style="font-size: 16pt;"><span style="font-size: 16pt; color: rgb(50, 135, 18); font-weight: bold; line-height: 1.45;">强化学习希望把策略训练什么样呢？</span></font></li></ul></div><div>        后来人们进一步扩展了价值的概念，将价值扩展到状态-动作对上。一个状态-动作对的价值定义如下所示。</div><div><img src="强化学习系列_files/Image [9].png" type="image/png" data-filename="Image.png"/></div><div><font style="font-size: 24pt; color: rgb(50, 135, 18);"><b>理解：策略（平衡进行当前动作以及后续的动作所带来相关状态的奖励和惩罚）</b></font></div><h3><span style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal;">最优策略存在性和贝尔曼等式</span></h3><div><img src="强化学习系列_files/Image [10].png" type="image/png" data-filename="Image.png"/></div><div><font color="#AD0000" style="font-size: 12pt;"><span style="color: rgb(173, 0, 0); font-size: 12pt; font-weight: bold;">强化学习算法的目标就是找到最优策略 :</span></font></div><div><span style="font-size: 12pt; color: rgb(173, 0, 0); font-weight: bold;">                                            一个所有状态价值大等于其他所有的状态价值</span></div><div><br/></div><div><img src="强化学习系列_files/Image [11].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div><span style="color: rgb(28, 51, 135); font-size: 18pt;">贝尔曼等式</span></div><div><br/></div><div>        贝尔曼登等式表明了当前状态的值函数与下个状态的值函数的关系，具有很简明的形式。</div><div><img src="强化学习系列_files/Image [12].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><h1 style="text-align: center;"><span style="color: rgb(28, 51, 135); font-size: 24pt;">模型相关的强化学习</span></h1><div><font style="font-size: 12pt;"><span style="color: rgb(173, 0, 0); font-size: 12pt; font-weight: bold;">模型相关是我们知道整个马尔科夫决策过程。</span></font></div><div> 模型相关的强化学习算法主要有：</div><div><ul><li><span style="line-height: 1.45;">策略迭代 (Policy Iteration) </span></li><li><span style="line-height: 1.45;">价值迭代 (Value Iteration)</span><br/></li></ul></div><div><br/></div><h3><font style="font-size: 18pt; color: rgb(28, 51, 135);">1. 策略迭代</font></h3><div><span>       <b><font color="#AD0000"><font style="font-size: 12pt;"> </font></font></b></span><font color="#AD0000" style="font-size: 12pt;"><b>策略迭代的主要思想是这样的。先随机初始化一个策略 (\pi_0)，计算这个策略下每个状态的价值 (\pmb{v}_0)；根据这些状态价值得到新策略 (\pi_1)；计算新策略下每个状态的价值 (\pmb{v}_1) ... 直到收敛。计算一个策略下每个状态的价值，被称为策略评估 (Policy Evaluation)；根据状态价值得到新策略，被称为策略改进 (Policy Improvement)。</b></font></div><div><font style="font-size: 24pt; color: rgb(50, 135, 18);"><b>理接：策略可以表示为一条路径，迭代表示调整当前的路径，得到一条新的路径，求得路径上所有状态的价值的和，根据这些价值来调整当前的策略（路径），直至这个和收敛</b></font></div><div><br/></div><h4><font color="#1C3387" style="font-size: 18pt; font-weight: normal;">1.1 策略评估</font></h4><div><span>    <span>    </span></span>策略评估利用了贝尔曼等式。根据贝尔曼等式，<u>一个状态的价值和它后续状态的价值有关</u>。<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>因此我们用后续状态价值 (v(s')) 去更新当前状态的价值 (v(s))</b></font>。策略评估<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>遍历所有状态</b></font>，按照下面公式更新其价值。</div><div>\begin{eqnarray}</div><div>v(s) = \sum_{a \in A}\pi(s,a)(R_{s,a}+\gamma \sum_{s' \in S}T_{s,a}^{s'}v_{t}(s')) \nonumber</div><div>\end{eqnarray}</div><div><span style="line-height: 1.45;"><br/></span></div><div><span style="line-height: 1.45;"><font style="font-size: 18pt; color: rgb(28, 51, 135);">1.2 策略改进</font></span><br/></div><div>根据状态价值得到新策略，被称为策略改进。对于一个状态s，让策略选择一个动作a，使得当前状态的价值 (R_{s,a}+\gamma \sum_{s' \in S}T_{s,a}^{s'}v(s') ) 最大，即</div><div>\begin{eqnarray}</div><div>\pi_{i+1}(s,a) =</div><div>\left{\begin{matrix}</div><div>1 &amp; a = argmax_{a}R_{s,a}+\gamma \sum_{s' \in S}T_{s,a}^{s'}v(s') \</div><div>0 &amp; a \neq argmax_{a}R_{s,a}+\gamma \sum_{s' \in S}T_{s,a}^{s'}v(s')</div><div>\end{matrix}\right. \nonumber</div><div>\end{eqnarray}</div><div><br/></div><div><br/></div><h3><font color="#1C3387" style="font-size: 18pt;">2. 价值迭代</font></h3><div><span>       <b><font color="#AD0000"><font style="font-size: 12pt;"> </font></font></b></span><font color="#AD0000" style="font-size: 12pt;"><b>把策略评估和策略改进结合得更紧密一些。一个状态下选择动作一旦确定，立刻按照这个动作计算当前状态的价值。这个做法其实就是价值迭代。<span style="font-weight: bold; font-size: 12pt; color: rgb(173, 0, 0);">价值迭代一直执行直到收敛，从而获得最优策略。</span></b></font></div></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div style="text-align: center;"><font color="#1C3387" style="font-size: 24pt;"><b><br/></b></font></div><div style="text-align: center;"><font color="#1C3387" style="font-size: 24pt;"><b>模型无关 (Model-free) 的强化学习</b></font></div><div><br/></div><div><font style="font-size: 18pt; color: rgb(28, 51, 135);"><b>模型无关的策略评价</b></font></div><div><span>    <span>    </span></span><font style="font-size: 12pt; color: rgb(123, 0, 61);"><b>不知道马尔科夫决策过程转移概率和奖励函数</b></font>的情况下，计算一个策略的每一个状态价值。模型无关的策略评价主要有两种算法</div><div><ul><li><span style="line-height: 1.45;">蒙特卡罗算法</span></li><li><span style="line-height: 1.45;">时差学习算法。</span><br/></li></ul></div><h3><font style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal;"> 蒙特卡罗算法</font></h3><div><span>    <span>    </span></span>一听到这个名字，我们就知道一个产生样本，通过样本计算状态价值的方法。</div><div><br/></div><div><font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>算法流程：</b></font></div><div><ul><li><span style="line-height: 1.45;">首先，用当前策略探索产生一个完整的状态-动作-奖励序列。</span><br/></li></ul></div><div><img src="强化学习系列_files/Image [13].png" type="image/png" data-filename="Image.png"/></div><div><ul><li><span style="line-height: 1.45;">在序列第一次碰到或者每次碰到一个状态s时，计算其衰减奖励之后。</span><br/></li></ul></div><div><img src="强化学习系列_files/Image [14].png" type="image/png" data-filename="Image.png"/></div><div><ul><li>更新状态价值</li></ul></div><div><img src="强化学习系列_files/Image [15].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><h3><font style="font-size: 18pt; font-weight: normal; color: rgb(28, 51, 135);">时差学习算法</font></h3><div>有时我们面临的强化学习问题是持续不断的。比如没有停止指令时，飞行器控制要求不停地根据姿势风向等因素调整，持续保持平稳飞行。</div><div>这时我们得不到一个完整状态-动作-奖励系列</div><div>时差学习算法利用马尔科夫性质，<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>只利用了下一步信息</b></font>。时差学习算法让系统按照策略指引进行探索，在探索<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>每一步都进行状态价值的更新</b></font>，更新公式如下所示。</div><div><img src="强化学习系列_files/Image [16].png" type="image/png" data-filename="Image.png"/></div><div><img src="强化学习系列_files/Image [17].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div><br/></div><div><br/></div><h1><font style="font-size: 18pt; color: rgb(28, 51, 135);">模型无关的策略学习</font></h1><div><span>    <span>    </span></span>模型无关的策略学习，是在不知道马尔科夫决策过程的情况下学习到最优策略。</div><div><span>    <span>    </span></span>主要有三种算法:</div><div><ul><li><span style="line-height: 1.45;"> MC Control,</span></li><li><span style="line-height: 1.45;">SARSA </span></li><li><span style="line-height: 1.45;">Q learning。</span></li></ul></div><div><br/></div><div><br/></div><div>解决办法是把工作对象换成状态-动作价值 <span style="width: 0em; position: absolute; height: 0px; font-size: 111%; clip: rect(3.387em, 1000.46em, 4.361em, -1000em); top: -3.998em; font-family: MathJax_Math; font-style: italic;">q</span><span style="width: 0.507em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.698em, 1000.51em, 2.671em, -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">q</span>，获得最优策略的状态-动作价值 <span style="width: 0em; position: absolute; height: 0px; font-size: 111%; clip: rect(3.387em, 1000.46em, 4.361em, -1000em); top: -3.998em; font-family: MathJax_Math; font-style: italic;">q</span><span style="width: 0.507em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.698em, 1000.51em, 2.671em, -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">q</span> 之后，对于状态 <span style="width: 0.45em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.698em, 1000.4em, 2.487em, -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">s</span> 最优策略如下所示。</div><div><img src="强化学习系列_files/Image [18].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div>最优策略是贪婪策略，这个不用怀疑。为了鼓励探索，我们用了另一种 <span style="width: 1.182em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.709em, 1001.1em, 2.488em, -1000em); top: -2.309em; font-family: MathJax_Math; font-style: italic;">ϵ</span><span style="width: 1.182em; position: absolute; height: 0px; font-size: 111%; clip: rect(1.709em, 1001.1em, 2.488em, -1000em); top: -2.309em; font-family: MathJax_Main;">−</span> 贪婪策略，其公式如下。</div><div><img src="强化学习系列_files/Image [19].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><h3><font style="font-size: 18pt; color: rgb(28, 51, 135); font-weight: normal;">MC Control</font></h3><div>一听到 Monte Carlo Control (MC Control) 这个名字，我们就知道，这个算法生成样本然后根据样本计算状态-动作价值。</div><div><br/></div><div><br/></div><div><br/></div></div></span>
</div></body></html> 